Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.
translated by 谷歌翻译
在过去的几十年中,人工智能领域大大进展,灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中,我们开发了一个原始的脑激发神经模型,将自组织地图(SOM)和Hebbian学习在重新参与索马里(RESOM)模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比,该模型增强了最先进的结果。这项工作还通过在名为SPARP(自配置3D蜂窝自适应平台)的专用FPGA的平台上的模拟结果和硬件执行,演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连,以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果,通过专用串行链路在每个板之间的通信。由于多模式关联,所提出的统一架构,由RESOM模型和头皮硬件平台组成的精度显着提高,与集中式GPU实现相比,延迟和功耗之间的良好折衷。
translated by 谷歌翻译
可持续性需要提高能源效率,而最小的废物则需要提高能源效率。因此,未来的电力系统应提供高水平的灵活性IIN控制能源消耗。对于能源行业的决策者和专业人员而言,对未来能源需求/负载的精确预测非常重要。预测能源负载对能源提供者和客户变得更有优势,使他们能够建立有效的生产策略以满足需求。这项研究介绍了两个混合级联模型,以预测不同分辨率中的多步户家庭功耗。第一个模型将固定小波变换(SWT)集成为有效的信号预处理技术,卷积神经网络和长期短期记忆(LSTM)。第二种混合模型将SWT与名为Transformer的基于自我注意的神经网络结构相结合。使用时频分析方法(例如多步预测问题中的SWT)的主要限制是,它们需要顺序信号,在多步骤预测应用程序中有问题的信号重建问题。级联模型可以通过使用回收输出有效地解决此问题。实验结果表明,与现有的多步电消耗预测方法相比,提出的混合模型实现了出色的预测性能。结果将为更准确和可靠的家庭用电量预测铺平道路。
translated by 谷歌翻译
语义细分需要在处理大量数据时学习高级特征的方法。卷积神经网络(CNN)可以学习独特和适应性的特征,以实现这一目标。但是,由于遥感图像的大尺寸和高空间分辨率,这些网络无法有效地分析整个场景。最近,Deep Transformers证明了它们能够记录图像中不同对象之间的全局相互作用的能力。在本文中,我们提出了一个新的分割模型,该模型将卷积神经网络与变压器结合在一起,并表明这种局部和全局特征提取技术的混合物在遥感分割中提供了显着优势。此外,提出的模型包括两个融合层,这些融合层旨在有效地表示网络的多模式输入和输出。输入融合层提取物具有总结图像内容与高程图(DSM)之间关系的地图。输出融合层使用一种新型的多任务分割策略,其中使用特定于类的特征提取层和损耗函数来识别类标签。最后,使用快速制定的方法将所有不明的类标签转换为其最接近的邻居。我们的结果表明,与最新技术相比,提出的方法可以提高分割精度。
translated by 谷歌翻译